kotoba technologies
from
GENIAC
https://drive.google.com/file/d/1d2M9Ne6z16-yurGRey2cUsnbEaZSDzJq/view
Transformer
のように並列化可能で、
RNN
のように計算量が低い（O(L)。Transformerは
$ O(L^2)
）のモデル
Kotomamba
の開発
https://www.youtube.com/watch?v=eXucG99HolA
State Space Models
系列→系列変換器
しかし、入力の内容に基づいて情報を選択的に伝播する能力に欠ける
/work4ai/Mamba
Mamba
Deep State Space Models